Sau khi lên cầm quyền, Ivan III tiến hành kiện toàn bộ máy chính quyền. Dựa trên hai tầng lớp xã hội là quý tộc cũ và thương nhân đang lên, đại công Ivan III tiến hành xây dựng chính quyền theo mô hình của Byzantium. Sở dĩ ông chọn mô hình đó là vì, sau khi Constantinople sụp đổ năm 1453, các nhà luật học chính thống chính thống có xu hướng xem Đại công tước Moskwa, nơi chính quyền chính thống Kiev đã chuyển vào năm 1325 sau khi Mông Cổ xâm lược dưới thời Ivan I Danilovich Kalita, là những người kế vị của các hoàng đế Byzantine. Chính Ivan dường như hoan nghênh ý tưởng đó và thực hiện việc đó một cách xuất sắc. Học giả Fennell nhận định rằng, "thời kỳ trầm cảm văn hóa và tự do về tinh thần, đã bị dập tắt ở Moskwa và thời học tập phương Tây để tăng cường phát triển đất nước đã bắt đầu"[10].

Để củng cố chính quyền mới theo mô hình của Byzantium, sau khi hoàng hậu đầu tiên là Maria xứ Tver chết năm 1471, Ivan III đã nghe theo gợi ý của Giáo hoàng Phaolô II quyết định kết hôn với Sophia Paleologue, con gái của Thomas Palaeologus thành Morea và là cháu gái của Hoàng đế cuối cùng Konstantinos XI Palaiologos. Sau khi lấy chồng, hoàng hậu đi theo Chính thống giáo của Ivan III. Hoàng hậu Sophia cũng đã gợi ý đại công làm Quốc huy mang hình con đại bàng hai đầu, giống của Byzantium.

Một hệ thống chính quyền mới được hình thành. Thoạt đầu, Ivan III quyết định loại bỏ ảnh hưởng của boyar vào chính quyền. Các boyar không còn được hỏi ý kiến về các vấn đề của nhà nước, quyền lực bị suy giảm đáng kể. Họ đã phẫn nộ cuộc cải tổ này và đầu tranh chống lại nó. Hệ thống chính quyền thời Ivan III được sắp xếp như sau:

Trung ương:

Cơ quan lập pháp

Cơ quan hành pháp

Địa phương:

Luật pháp: